<!DOCTYPE HTML>
<html>

<head>
	<link rel="bookmark"  type="image/x-icon"  href="/img/logo.jpg"/>
	<link rel="shortcut icon" href="/img/logo.jpg">
	
			    <title>
    北望你的安
    </title>
    <meta charset="utf-8" />
    <meta name="viewport" content="width=device-width, initial-scale=1, user-scalable=no" />
    <link rel="stylesheet" href="/css/mic_main.css" />
    <link rel="stylesheet" href="/css/dropdownMenu.css" />
    <meta name="keywords" content="北望你的安" />
    
    	<script async src="//busuanzi.ibruce.info/busuanzi/2.3/busuanzi.pure.mini.js"></script>
	 
    <noscript>
        <link rel="stylesheet" href="/css/noscript.css" />
    </noscript>
    <style type="text/css">
        body:before {
          content: ' ';
          position: fixed;
          top: 0;
          background: url('/img/bg.jpg') center 0 no-repeat;
          right: 0;
          bottom: 0;
          left: 0;
          background-size: cover; 
        }
    </style>

			    
  


    <script src="/js/jquery.min.js"></script>
    <script src="/js/jquery.scrollex.min.js"></script>
    <script src="/js/jquery.scrolly.min.js"></script>
    <script src="/js/skel.min.js"></script>
    <script src="/js/util.js"></script>
    <script src="/js/main.js"></script>
	
</head>
    
		
<!-- Layouts -->



<!--  代码渲染  -->
<link rel="stylesheet" href="/css/prism_coy.css" />
<link rel="stylesheet" href="/css/typo.css" />
<!-- 文章页 -->
<body class="is-loading">
    <!-- Wrapper 外包 s-->
    <div id="wrapper" class="fade-in">
        <!-- Intro 头部显示 s -->
        <!-- Intro 头部显示 e -->
        <!-- Header 头部logo start -->
        <header id="header">
    <a href="/" class="logo">Krystalan</a>
</header>
        <!-- Nav 导航条 start -->
        <nav id="nav" class="special" >
            <ul class="menu links" >
			<!-- Homepage  主页  --> 
			<li >
	            <a href="/" rel="nofollow">主页</a>
	        </li>
			<!-- categories_name  分类   --> 
	        
	        <li class="active">
	            <a href="#s1">分类</a>
	                    <ul class="submenu">
	                        <li>
	                        <a class="category-link" href="/categories/%E5%BC%BA%E5%8C%96%E5%AD%A6%E4%B9%A0/">强化学习</a></li><li><a class="category-link" href="/categories/%E6%95%B0%E5%AD%A6/">数学</a></li><li><a class="category-link" href="/categories/%E7%AE%97%E6%B3%95/">算法</a></li><li><a class="category-link" href="/categories/%E8%87%AA%E7%84%B6%E8%AF%AD%E8%A8%80%E5%A4%84%E7%90%86/">自然语言处理</a></li><li><a class="category-link" href="/categories/%E9%9A%8F%E7%AC%94/">随笔</a>
	                    </ul>
	        </li>
	        
	        <!-- archives  归档   --> 
	        
	        
		        <!-- Pages 自定义   -->
		        
		        <li>
		            <a href="/tags/" title="标签">
		                标签
		            </a>
		        </li>
		        
		        <li>
		            <a href="/gallery/" title="相册">
		                相册
		            </a>
		        </li>
		        


            </ul>
            <!-- icons 图标   -->
			<ul class="icons">
                    
                    <li>
                        <a title="github" href="https://github.com/krystalan" target="_blank" rel="noopener">
                            <i class="icon fa fa-github"></i>
                        </a>
                    </li>
                    
                    <li>
                        <a title="500px" href="https://www.zhihu.com/people/krystalzhu-an" target="_blank" rel="noopener">
                            <i class="icon fa fa-500px"></i>
                        </a>
                    </li>
                    
			</ul>
</nav>

        <div id="main" >
            <div class ="post_page_title_img" style="height: 25rem;background-image: url(/img/2.jpeg);background-position: center; background-repeat:no-repeat; background-size:cover;-moz-background-size:cover;overflow:hidden;" >
                <a href="#" style="padding: 4rem 4rem 2rem 4rem ;"><h2 >命名实体识别出你的点点滴滴</h2></a>
            </div>
            <!-- Post -->
            <div class="typo" style="padding: 3rem;">
                <h1 id="1-概述"><a href="#1-概述" class="headerlink" title="1.概述"></a>1.概述</h1><p>命名实体识别（Named Entity Recognition，NER）是自然语言处理中的一个底层任务，也是众多复杂型任务的子任务，被广泛应用于信息抽取、语法分析、问答系统中。通用NER模型一般用来识别文本当中出现的人名、地名、组织名、时间、数量等类型的文字。例如有一句话：</p>
<blockquote>
<p>王佳安于2016年加入苏大计科院，开始其码农之旅。  </p>
</blockquote>
<p>我们希望能够训练出一个模型，输入这段文字，模型大致输出为：</p>
<blockquote>
<p>人名：王佳安<br>组织名：苏大计科院<br>时间：2016年</p>
</blockquote>
<p>除了通用NER以外，往往也有许多垂直领域的应用，比较常见的有BioNER：识别出一段文字中的病毒、细菌、DNA、RNA、药物等类型信息。我之前也有一个任务是要识别赛事新闻中的赛事名称、场馆、参赛队员等类型的信息。  </p>
<p>NER是<strong>序列标注</strong>问题中的一种，除了NER还有<strong>分词</strong>、<strong>词性标注</strong>等问题。在统计学习的时代，往往使用<strong>HMM</strong>、<strong>CRF</strong>的方法来解决序列标注问题，比如自然语言处理常用的分词工具结巴中的jieba.cut函数就使用HMM来做分词。而后随着深度学习的大规模发展，又诞生了利用LSTM方法来做序列标注任务，但单纯使用LSTM的方法往往会预测出不符合常理的NER标签，因此又出现了<strong>LSTM+CRF</strong>的方法解决这一问题，后又改进为了<strong>CNN+LSTM+CRF</strong>模型 ，CNN用来对字符级序列建模。随着自然语言处理中的预训练语言模型的火爆发展，现在又出现了<strong>BERT+LSTM+CRF</strong>的baseline模型。</p>
<h1 id="2-统计学习时代方法"><a href="#2-统计学习时代方法" class="headerlink" title="2.统计学习时代方法"></a>2.统计学习时代方法</h1><h2 id="2-1隐马尔科夫模型（Hidden-Markov-Model，HMM）"><a href="#2-1隐马尔科夫模型（Hidden-Markov-Model，HMM）" class="headerlink" title="2.1隐马尔科夫模型（Hidden Markov Model，HMM）"></a>2.1隐马尔科夫模型（Hidden Markov Model，HMM）</h2><p>HMM在马尔科夫过程上又加入了一个观测序列，每个观测值仅与当前状态相关。HMM有两个集合，分别为Q状态集合与V观测集合。除此之外它还有三大要素：A,B,π，其中A代表状态转移矩阵，B代表观测概率矩阵，π是初始状态向量。</p>
<p>对于NER而言，我们所能看到的文字便是观测序列，而我们需要求解的实体类别则为状态序列。具体如下：</p>
<blockquote>
<p>王 —— B-PER<br>佳 —— I-PER<br>安 —— I-PER<br>于 —— O<br>2 —— B-TIME<br>0 —— I-TIME<br>1 —— I-TIME<br>6 —— I-TIME<br>年 —— I-TIME<br>加 —— O<br>入 —— O<br>苏 —— B-ORG<br>大 —— I-ORG<br>计 —— I-ORG<br>科 —— I-ORG<br>院 —— I-ORG<br>，<br>开 —— O<br>始 —— O<br>其 —— O<br>码 —— O<br>农 —— O<br>之 —— O<br>旅 —— O<br>。  </p>
</blockquote>
<p>其中第一列就是观测序列，是我们能够直接看到的，第二列是状态序列，是我们要计算得到的，这里采用了BIO编码，B代表某一类实体的开头，I代表实体的非开头，O代表非实体。（多说一句，除了BIO编码，还有BIOES，E代表实体最后一个字，S代表单个字符）,<strong>每步的观测仅和当前步的状态有关，每步状态仅和前一步的状态相关</strong>，正是因为这样的假设，才让HMM的速度很快于此同时精确度较低（低于CRF），所以NER问题在HMM中，被建模成为给定一个观测序列，求状态序列的问题。模型可以通过训练集的数据学习到上述的两大集合与三大要素，使用的时候要用到<strong>维特比（Viterbi）算法</strong>，这是一个基于动态规划思想的算法为了找到最优的状态序列。 </p>
<p>这里补充一下<u><a href="https://www.bilibili.com/video/av9770190?p=24" target="_blank" rel="noopener">台大李宏毅老师的序列标注问题</a></u>的讲解PPT，方便大家更深入的了解。<br><img src="/images/NER/16.jpg" alt="李宏毅"><br>这个PPT是以POS（Part Of Speech)Tagging任务来讲解的，也是一个序列标注的任务。可以看出HMM是一个生成式模型，将观测序列记为X，状态序列记为Y，则最大化Y在X的条件下的概率就相当于最大化其联合概率。<br><img src="/images/NER/17.jpg" alt="李宏毅"><br>由于在特定任务中，观测序列是给定的，所以可以通过枚举Y的做法来求得最大概率的Y，但这样是非常耗时且低效的，如果标签的种类有S种，序列长度为L，则共有S^L种可能，为了解决这个问题便使用到了Viterbi算法<br><img src="/images/NER/18.jpg" alt="李宏毅"><br>最后这张图是对HMM做一总结，可以看出如果有足够多的数据集，我们可以对于每个X,Y的联合概率直接利用Y的概率与X在Y下的条件概率来计算，这两个概率可以直接从数据集上计算得到。而第二步的求解过程正是Viterbi </p>
<h2 id="2-2最大熵马尔科夫模型（Maximum-Entropy-Markov-Model，MEMM）"><a href="#2-2最大熵马尔科夫模型（Maximum-Entropy-Markov-Model，MEMM）" class="headerlink" title="2.2最大熵马尔科夫模型（Maximum Entropy Markov Model，MEMM）"></a>2.2最大熵马尔科夫模型（Maximum Entropy Markov Model，MEMM）</h2><p>[ TODO ]<br>参考资料：<u><a href="http://mp.weixin.qq.com/s?__biz=MzIwMTc4ODE0Mw==&mid=2247503481&idx=1&sn=f998484d31148762630e2fdc16af01aa&chksm=96ea11f9a19d98ef4a4c29e7fd86c01a278888374bc5a5ae9bd208de41cdfe6e53b67a09e967&mpshare=1&scene=23&srcid=03308FjP3GwnsYCia9vLcxZK&sharer_sharetime=1585542766907&sharer_shareid=6c36f30e99679af7a7cfe0098d5e5b1d#rd" target="_blank" rel="noopener">《CRF用过了，不妨再了解下更快的MEMM？》</a></u></p>
<h2 id="2-3条件随机场（Hidden-Markov-Model，HMM）"><a href="#2-3条件随机场（Hidden-Markov-Model，HMM）" class="headerlink" title="2.3条件随机场（Hidden Markov Model，HMM）"></a>2.3条件随机场（Hidden Markov Model，HMM）</h2><p>通过上述HMM粗体字部分的假设，可以看出HMM实际上在面对NER问题时，是有一定的缺陷的。<br>为了解决这一问题，便使用到了CRF模型，CRF与HMM的基本思路类似，也是通过计算联合分布概率进而求解。在具体计算方式中，CRF定义了一种船新的计算联合分布概率的方式。如下图：<br><img src="/images/NER/19.jpg" alt="李宏毅"><br>它定义了联合分布概率密度正比于一个函数，这个函数中的w是通过学习得到的，w后面则是特征向量，接下来我们讲解一下是如何得到这个假设的，如果有看不懂的地方，也可以结合着<u><a href="https://www.bilibili.com/video/av9770190?p=24" target="_blank" rel="noopener">原课程</a></u>配合着理解。。<br>在HMM中，我们计算联合概率分布通过如下公式：<br><img src="/images/NER/20.jpg" alt="李宏毅"><br>在CRF中，我们改下成如下公式：<br><img src="/images/NER/21.jpg" alt="李宏毅"><br>为了方便大家理解这个改动，李宏毅老师特地举了一个例子来说明：<br><img src="/images/NER/22.jpg" alt="李宏毅"><br>这个便是CRF中计算在状态序列改定的条件下某观测序列的概率，S表示某一个状态值，T表示的是某一个观测值。<br>然后通过这个方法，我们可以把CRF计算状态转移概率的公式改下成如下：<br><img src="/images/NER/23.jpg" alt="李宏毅"><br>最后再把状态-观测转移概率也经过相同的改写，这样就可以进一步改写成两个向量的内积，最后便得到了我们一开始假设的形式：<br><img src="/images/NER/24.jpg" alt="李宏毅"><br>最后来再对比这看一下：<br><img src="/images/NER/25.jpg" alt="李宏毅"><br>细心的同学会发现，在特征向量中，其实包含了两种数量关系，一个是状态与状态的数量关系，一个是状态与观测的数量关系，如下图：<br><img src="/images/NER/26.jpg" alt="李宏毅">)<img src="/images/NER/27.jpg" alt="李宏毅"><br>其实，看这部分会让读者觉得特征向量就是这些标签同时出现的概率，其实不然，CRF的一个强的地方就在于，我们可以定义任何一个特征向量，不必局限于以上所展示的那样。你怎么开心就定义怎么样的特征向量，希望它比原来一般人用的更厉害！<br>之后来看一下CRF的训练，这步是为了求出权值向量：可以通过梯度上升法来求解。<br><img src="/images/NER/28.jpg" alt="李宏毅"><br>在求得权值向量与特征向量之后，我们就可以跟HMM一样，进而利用维特比算法求解出最终的状态序列了。<br><img src="/images/NER/29.jpg" alt="李宏毅"><br>最后我们来对比一下HMM与CRF：<br>CRF在所有特征进行全局归一化，因此可以求得全局的最优值，因而可以容纳任意的上下文信息，特征设计灵活。而HMM假设每一步的状态仅与上一步的状态有关，没有做到全局性。<br>HMM较简单，训练开销小，速度快；CRF模型复杂，训练代价大，复杂度高。</p>
<h1 id="3-深度学习时代方法"><a href="#3-深度学习时代方法" class="headerlink" title="3.深度学习时代方法"></a>3.深度学习时代方法</h1><h2 id="3-1-Bi-LSTM"><a href="#3-1-Bi-LSTM" class="headerlink" title="3.1 Bi-LSTM"></a>3.1 Bi-LSTM</h2><p>大家都知道我们可以直接用Bi-LSTM来作序列标注任务，在Bi-LSTM的输出层后接一个Softmax层便可以在每步上做一个预测，但当我们仔细考虑一下CRF与LSTM的区别的时候就会发现，LSTM作为神经网络模型，它只学习到了观测序列当中的依赖关系，然而它并不关系状态序列当中的依赖关系，例如LSTM有可能产生以下输出：</p>
<blockquote>
<p>O O O I I E O</p>
</blockquote>
<p>(I代表实体中间，E代表实体结尾，O代表非实体)<br>可见，这里出现了一个很明显的错误，序列没有B的时候便出现了I，如果从状态序列的关系角度上出发，O后面不可能直接跟I，而LSTM则不能直接习得这一特征。于是诞生了Bi-LSTM+CRF的方法。</p>
<h2 id="3-2-Bi-LSTM-CRF"><a href="#3-2-Bi-LSTM-CRF" class="headerlink" title="3.2 Bi-LSTM+CRF"></a>3.2 Bi-LSTM+CRF</h2><p>为了能够结合LSTM与CRF的优点，于是在LSTM后面接了一层CRF，这样模型既能习得观测序列间的关系也能学到状态序列之间的依赖，如此便能解决3.1例子中的问题。</p>
<h2 id="3-3-Lattice"><a href="#3-3-Lattice" class="headerlink" title="3.3 Lattice"></a>3.3 Lattice</h2><p>2018 ACL：Chinese NER Using Lattice LSTM<u><a href="https://arxiv.org/pdf/1805.02023.pdf" target="_blank" rel="noopener">[1]</a></u><br>这是一篇针对于中文NER的论文，首先我们要知道中文在做NER任务不好做的一个非常重要的原因是因为词边界的选取问题，英语本身词与词之间就有间隔，而中文一句话之间没有空隙，这也是中文NER难于英文NER的原因。该模型总体框架如下图：<br><img src="/images/NER/1.jpg" alt="Lattice"><br>（1）首先论文介绍了基于字符级的模型，对于中文来说，字符级就是每一个字。<br><img src="/images/NER/2.jpg" alt="Character-based model"><br>这个模型，直接利用每个字的embedding做输入，并经过双向LSTM与CRF再输出分类标签的最终结果。<br>（2）论文又介绍了基于词级的模型。<br><img src="/images/NER/3.jpg" alt="Word-based model"><br>这个模型，要先分词，接着用word embedding做输入，之后经过双向LSTM与CRF。<br>（3）论文核心：Lattice模型<br><img src="/images/NER/4.jpg" alt="Lattice model"><br>Lattice模型是将（1）与（2）结合起来使用，在这个模型中，共包含四种向量，分别是：input vector，output hidden vector，cell vector与gate vector。这个模型的输入是所有的字（即字符）与在字典里匹配到的词。<br>[ TODO ]</p>
<h2 id="3-4-BERT-LSTM-CRF"><a href="#3-4-BERT-LSTM-CRF" class="headerlink" title="3.4 BERT+LSTM+CRF"></a>3.4 BERT+LSTM+CRF</h2><p>近几年自然语言预处理模型发展得如日中天，因此也诞生了利用预训练语言模型来解决NER任务的模型，其中BERT+LSTM+CRF是一个经典的方法。其核心思想是使用谷歌的BERT模型在BLSTM-CRF模型上进行训练NER模型。<br>这个模型也是我应用最多的模型，大家感兴趣的话可以去看看<u><a href="https://github.com/macanv/BERT-BiLSTM-CRF-NER" target="_blank" rel="noopener">其代码实现</a></u>。具体的使用说明还可以参考<u><a href="https://blog.csdn.net/macanv/article/details/85684284" target="_blank" rel="noopener">对应博文</a></u>。我用通用领域的NER数据集训练出的模型效果如下：<br><img src="/images/NER/5.jpg" alt="BERT+LSTM+CRF"> </p>
<h2 id="3-5-TENER"><a href="#3-5-TENER" class="headerlink" title="3.5 TENER"></a>3.5 TENER</h2><p>TENER: Adapting Transformer Encoder for NER<u><a href="https://arxiv.org/pdf/1911.04474.pdf" target="_blank" rel="noopener">[2]</a></u>。<br>这篇论文主要的动机是指出为什么transformer在NER任务上的表现不好，作者在经过一系列魔改之后，达到了比Lattice还高的分数。<br>（1）首先，对于NER问题来说，位置关系是有用的，比如下面这一句：<br><img src="/images/NER/6.jpg" alt="example"><br>路易斯威登在1854年建立了LV公司，其中在“in”后面的单词更有可能是时间或者地点，而在“inc.”标志前面的单词更有可能是一个公司的名字。而原本的transformer是捕捉不到前后这一语义的，它只能捕捉到两个位置的差距。如下图：<br><img src="/images/NER/7.jpg" alt="position embedding"><br>横轴K表示两个单词位置的差异，若k大于0则表示，A词在B词后，小于0则表示A词在B词前，纵轴是它们的position embedding的点积，可以看出是关于k=0对称的，这也就证实了vanilla transformer不能捕获前后位置的语义，于是作者提出了如下的改动：<br><img src="/images/NER/8.jpg" alt="position embedding"><br>其中Q，K，V分别代表查询向量，键值向量和value向量，如果这点不理解的同学可以先去看看transformer的self-attention机制。在vanilla transformer中self-attention的计算是没有第17式的，该篇作者便是通过引入17式中的矩阵，来让self-attention能够捕捉到前后语义的。（BTW，这个改动是参考Transformer-XL的，感兴趣的同学也可以去看看transformer-XL）<br>（2）原先很多NER模型，在提取字符级的特征时，基本使用的都是CNN，因为CNN可以看做是一个超级N-gram模型，但是CNN不能提取非联系的模式，例如“unhappily”和”uneasily”中的”un…ily”，于是作者改变这一情况，直接用transformer提取字符级特征。<br>（3）还有一个小改动，就是vanilla transformer中是Scaled Dot-product Attention.忘记的同学可以看下下图：<br><img src="/images/NER/9.jpg" alt="Scaled Dot-product Attention"><br>可以看出在计算softmax时，统一除以了一个根号dk，看过CS224N的同学可能会有印象，这实际上是一个小技巧叫做softmax temperature，给要做softmax的序列同时除以一个大于1的数，叫做“升温”，升温可以使得attention更加平缓，但对于NER任务来说，我们需要的不是平缓，而是尽可能的让attention陡峭！因为一句话中，只有少部分的单词会被打上实体标签。 所以该文作者提出将处以根号dk去除掉，直接对Q矩阵与K矩阵的转置的乘积做softmax。 </p>
<p>讲了这么多，好像还没有放模型图，哈哈哈哈，没关系，补上！<br><img src="/images/NER/10.jpg" alt="model-frame"><br>经典的三层结构，最下面是字符级建模，用transformer，中间的上下文特征交融也用的transformer，最后接一层CRF。<br>中文数据集上的实验结果如下：<br><img src="/images/NER/11.jpg" alt="result"><br>第一行是3.3所讲的Lattice哦~  </p>
<h2 id="3-6多模NER"><a href="#3-6多模NER" class="headerlink" title="3.6多模NER"></a>3.6多模NER</h2><p>现今多模态已经成为了一大潮流，而将CV与NLP的结合更是大家关注的要点（当然有些人是为了水水论文[小声]）<br>这几天组会上，一个师兄分享了一篇多模NER的论文，目前还在预印上（2020 arxiv）。  </p>
<h3 id="3-6-1-论文题目"><a href="#3-6-1-论文题目" class="headerlink" title="3.6.1 论文题目"></a>3.6.1 论文题目</h3><p><u><a href="https://arxiv.org/abs/2001.06888" target="_blank" rel="noopener">A Multimodal Deep Learning Approach for Named Entity Recognition from Social Media</a></u>   </p>
<h3 id="3-6-2-论文动机"><a href="#3-6-2-论文动机" class="headerlink" title="3.6.2 论文动机"></a>3.6.2 论文动机</h3><p>许多社交网络平台上存在着大量的媒体类型的数据，提取第一手新闻和实体往往能够提供有价值的信息。然而由于推文内容的精简以及含有噪声数据，导致NER和信息检索任务变得较为困难。<strong>对于NER任务而言，有的数据比纯文本的有用得多。例如图像和视觉数据，他们更能描述所在场景。</strong>  </p>
<h3 id="3-6-3-模型：提出CWI（Character-Word-Image-model）如下图："><a href="#3-6-3-模型：提出CWI（Character-Word-Image-model）如下图：" class="headerlink" title="3.6.3 模型：提出CWI（Character-Word-Image model）如下图："></a>3.6.3 模型：提出CWI（Character-Word-Image model）如下图：</h3><p><img src="/images/NER/12.jpg" alt="多模NER"><br>（1）左边是对字符级建模：用到了CNN和残差连接，圈叉符号代表concatenation<br>TD是targeted dropout（主要思想是根据一些快速逼近权重重要性的度量对权重或神经元进行排序，并将Dropout应用于那些重要性较低的元素，可以看做是鼓励神经网络去学习更重要的神经元，而将一些不重要的失活掉。）<br>GN是Group Normalization<br>SineRELU一看就是一个激活函数，原文作者用这个激活函数只是说了它能解决RELU的失活问题，并没有过多解释。<br><img src="/images/NER/13.jpg" alt="SineRELU"><br>（2）中间是对词级建模<br>分别用到了fasttext与glove向量，将二者拼接，然后输入到LSTM<br>（3）最右部分的下方是对图像提取特征<br>用了Google Inception V3来提取特征，值得一提的是，该文作者直接使用了1000个类别的图像分类模型，也就是说他用的这个Inception V3就是在ImageNet上1000分类问题训练好的，没有进行任何迁移学习和微调，将图片识别出的前5类类别名称抽出来做了一个embedding，这五个词表示与图像相关的文本关键字，这些词的组合应该提供有关视觉数据中对象的有用信息。之后再通过一层前向LSTM<br>（4）最右中间做了一个多模特征融合<br>原始工作中这一部分并没有使用注意力机制，而是直接叠加文字和图像特征提取过程中的LSTM单元，这样做达到了一个更好的结果<br>后来在第二版工作的时候，又加了注意力机制，如下：<br><img src="/images/NER/14.jpg" alt="多模融合"><br>（5）最右上方：CRF不多说了</p>
<h3 id="3-6-4-实验结果"><a href="#3-6-4-实验结果" class="headerlink" title="3.6.4 实验结果"></a>3.6.4 实验结果</h3><p><img src="/images/NER/15.jpg" alt="Result"><br>不加注意力机制的好像更好一些</p>
<h1 id="4-嵌套命名实体识别"><a href="#4-嵌套命名实体识别" class="headerlink" title="4.嵌套命名实体识别"></a>4.嵌套命名实体识别</h1><p><u><a href="https://zhuanlan.zhihu.com/p/126347862" target="_blank" rel="noopener">《浅谈嵌套命名实体识别（Nested NER）》</a></u></p>
<p>最后推荐给大家几个知乎上的问题，有助于大家更深刻地理解NER问题<br>（1）<u><a href="https://www.zhihu.com/question/62399257" target="_blank" rel="noopener">如何理解LSTM后接CRF？</a></u><br>（2）<u><a href="https://www.zhihu.com/question/358892919" target="_blank" rel="noopener">使用DL进行序列标注问题的时候CRF是必备么？</a></u><br>（3）<u><a href="https://www.zhihu.com/question/340333687" target="_blank" rel="noopener">nlp序列标注任务如何处理类别极度不平衡问题？</a></u></p>
<h1 id="5-工具篇"><a href="#5-工具篇" class="headerlink" title="5.工具篇"></a>5.工具篇</h1><h2 id="5-1-CoreNLP"><a href="#5-1-CoreNLP" class="headerlink" title="5.1 CoreNLP"></a>5.1 CoreNLP</h2><p><u><a href="https://www.jianshu.com/p/002157665bfd" target="_blank" rel="noopener">《Stanford NLP+Python+中文配置使用与可视化》</a></u>  </p>
<h2 id="5-2-Stanza"><a href="#5-2-Stanza" class="headerlink" title="5.2 Stanza"></a>5.2 Stanza</h2><p><u><a href="https://mp.weixin.qq.com/s/HcX8b84YazwVI-usWsCUew" target="_blank" rel="noopener">《斯坦福大学NLP组Python深度学习自然语言处理工具Stanza试用》</a></u></p>

            </div>

            <!-- Post Comments -->
            

        </div>
        <!-- Copyright 版权 start -->
                <div id="copyright">
            <ul>
                <li>&copy;2020 北望你的安. 版权所有</li>
            </ul>
            
                <span id="busuanzi_container_site_pv">本站总访问量<span id="busuanzi_value_site_pv"></span>次，</span>
				<span id="busuanzi_container_site_uv"> 访客数 <span id="busuanzi_value_site_uv"></span> 人. </span>
			
			<br>
			<span>友情链接：<a href='http://www.demilab.cn' target='_blank'>DEMI实验室</a>&nbsp;&nbsp;&nbsp;<a href='http://zd11024.cn/' target='_blank'>ZD</a></span>
        </div>
    </div>
</body>



 	
</html>
